En el campo de la inteligencia artificial, la generación de audio a partir de texto se está convirtiendo en un área de investigación cada vez más popular. Recientemente, los investigadores han presentado un nuevo modelo llamado TANGOFLUX, que destaca por su rendimiento y eficiencia. TANGOFLUX es un modelo eficiente de generación de audio a partir de texto, con 515 millones de parámetros, capaz de generar audio de 44,1 kHz de hasta 30 segundos de duración en tan solo 3,7 segundos. Esta velocidad lo convierte en un modelo excepcionalmente rápido en una sola GPU A40. TANGOFLUX principalmente...

Recientemente, QQ Música lanzó oficialmente la versión 14.0, trayendo nuevas funciones y experiencias esperadas. En esta versión, se lanzó el primer efecto de sonido de modelo AI a gran escala, con emparejamiento inteligente de efectos de sonido para la escucha. Según se informa, este efecto de sonido fue desarrollado conjuntamente por el laboratorio Tianqin de QQ Música y el equipo de efectos de sonido de Galaxy, analizando las dimensiones del timbre, la calidad del sonido y la sensación espacial del audio musical para brindar a los usuarios una experiencia auditiva personalizada. Por ejemplo, cuando los usuarios reproducen "Héroe Solitario", pueden experimentar la sensación de capas espaciales creada por el efecto de sonido envolvente 3D en la parte principal de la canción, mientras que en el estribillo...

Recientemente, Adobe Research, en colaboración con la Universidad Northwestern, ha desarrollado un sistema de inteligencia artificial llamado Sketch2Sound, una herramienta que promete revolucionar la forma en que los diseñadores de sonido trabajan. Sketch2Sound permite a los usuarios crear efectos de sonido y ambientes profesionales simplemente tarareando, imitando sonidos o utilizando descripciones de texto sencillas. El sistema analiza tres elementos clave de la entrada vocal del usuario: volumen, timbre (que determina si el sonido es brillante u oscuro) y tono. Posteriormente, combina estas características con las del usuario

Recientemente, un equipo de investigación de la Universidad de Illinois Urbana-Champaign, Sony AI y Sony Corporation presentó una nueva tecnología llamada MMAudio, diseñada para lograr una síntesis de video a audio de alta calidad mediante entrenamiento conjunto multimodal. La innovación central de MMAudio radica en su capacidad para generar audio sincronizado utilizando video y entrada de texto, expandiendo así las aplicaciones de generación de audio. Admite la entrada de video o texto para generar efectos de sonido que se ajusten al contenido del video. El diseño de MMAudio permite...

Recientemente, el equipo de investigación de Adobe, en colaboración con investigadores de la Universidad de Michigan, ha desarrollado un sistema de inteligencia artificial llamado MultiFoley. Este sistema es capaz de generar efectos de sonido de doblaje para películas y videos, facilitando la postproducción. La innovación de MultiFoley radica en que permite a los usuarios crear efectos de sonido a través de indicaciones de texto, audio de referencia o ejemplos de video. En una demostración, el sistema incluso pudo transformar el maullido de un gato en el rugido de un león, o el sonido de una máquina de escribir en notas de piano, sincronizándose perfectamente con la imagen del video.

En el campo de la creación musical y sonora, la combinación de tecnología y creatividad siempre ha planteado numerosos desafíos. Los modelos de IA existentes suelen especializarse en tareas específicas, careciendo de una amplia adaptabilidad, lo que limita su utilidad en la producción musical. Para que la IA pueda servir mejor a la producción musical y de audio, se necesita un modelo universal capaz de abordar de manera flexible diversas necesidades creativas. Para ello, NVIDIA ha presentado Fugatto, un modelo de generación y procesamiento de audio con 2.500 millones de parámetros. Fugatto está diseñado para...

Al crear videos cautivadores, el audio juega un papel tan importante como los efectos visuales. Sin embargo, encontrar o crear los efectos de sonido adecuados suele ser una tarea que consume mucho tiempo. En la conferencia anual MAX de Adobe, presentaron un prototipo experimental llamado Project Super Sonic. Esta tecnología permite generar efectos de sonido a partir de texto, identificar objetos en videos e incluso usar tu voz para generar rápidamente efectos de sonido y música de fondo para tus proyectos de video. Si bien la función de generar efectos de sonido a partir de indicaciones de texto suena...